#Discrete Representation

5 篇

StableVQ: Practical Guidelines for Stable Vector-Quantized Tokenizer Training

StableVQ：稳定向量量化 tokenizer 训练实践指南

🧭 VQ 视觉 tokenizer 训练稳定性

Huazhong University of Science and Technology · KlingAI Research · South China Normal University

针对共享投影码本 VQ 训练不稳定，提出 Dynamic STE、Region VQ Loss、Decoupled Schedule 三项无参改进，稳定提升码本利用率与重建质量

📌 工作参考价值（4 点）

若在生成式推荐中使用 VQ / Semantic ID 做物品量化，常遇到码本坍塌或利用率低：可借鉴 Region VQ Loss 的思路，让码本独立学习完整覆盖编码器输出分布，而非依赖编码器梯度抖动激活，提升 ID 多样性。
Dynamic STE 修正了低码本利用率下直通估计器的梯度不稳定问题，适合推荐场景中离散 ID 生成（如 Gumbel-Softmax 或 ST-Gumbel）的梯度回传，避免因初期码本利用率低导致训练崩溃。
多模块联合训练（如编码器-解码器 + 码本、生成器 + 判别器）常因收敛速度不匹配而不稳定：Decoupled Schedule 将不同模块使用独立学习率调度，可直接迁移到多任务推荐模型或 Agent 策略与价值网络的联合训练。
整体无额外可学习参数、轻量易插入，适合在现有推荐召回或特征量化模块上低成本验证。

Training | 2026-09-21 | HF Daily | score 6/10

PhiZero：基于物理语言的物理世界模型

🧭 物理世界建模 · 离散视觉表示

NLPR, Institute of Automation, Chinese Academy of Sciences (CASIA)

从野生视频自监督学习紧凑离散物理语言，先推理后渲染实现物理一致生成与零样本动作迁移

📌 工作参考价值（4 点）

将连续动态抽象为离散 token 序列的思路可迁移至用户行为建模：用 vector quantized 方式学习行为语义 ID，在紧凑空间内捕捉状态转移规律，降低下游序列预测的复杂度。
自监督学习“物理语言”的方法对无标注交互数据的表征学习有启发：从原始点击/购买序列中挖掘隐含因果结构，无需昂贵标注即可获得可推理的隐状态表示。
“推理-渲染”分离的架构可拆解推荐系统：先由 Planner 生成抽象行为序列，再交由 Renderer 生成具体推荐内容，提升可解释性并支持可控生成。
主要贡献在物理世界建模，直接迁移至电商推荐场景的工程化价值有限，更多是概念层面的借鉴。

Multimodal | 2026-07-29 | HF Daily | score 6/10

AVTok: 用于整体音视频生成的一维统一分词器

🧭 统一多模态分词器 · 音视频生成

The Hong Kong University of Science and Technology

提出统一音视频分词器 AVTok，用双流 Transformer 将音视频对编码为共享码本的紧凑一维 token 序列

📌 工作参考价值（4 点）

统一码本设计可借鉴：在电商推荐中，将商品图像、描述、甚至短视频音轨等异构模态信息通过统一分词器映射到共享离散空间，便于后续的生成式推荐模型（如基于 AR 的 item 生成）处理。
双流架构与模态特定可学习查询：可用于处理搜索推荐中用户行为序列（时序流）和内容特征（语义流）的融合，共享主干而保留模态差异，降低计算开销。
分层训练策略：缓解多模态数据的信息不平衡问题，在推荐场景中可逐步引入不同模态特征（先文本后图像），让模型渐进学习对齐表示，避免单一模态主导。
主要是学术贡献，业务可借鉴点有限，但统一多模态 tokenization 的思路对构建商品或内容的全域统一表示有启发性。

Multimodal | 2026-06-28 | HF Daily | score 6/10

ViQ：任意分辨率下文本对齐的视觉量化表示

🧭 多模态离散表示与高效训练

Tencent HY Vision Team · Tsinghua University · Nanyang Technological University · Chinese Academy of Sciences

通过文本对齐预训练与头量化，将图像编码为保留细节和语义的离散 token，多模态训练加速 20-70%

📌 工作参考价值（4 点）

Multimodal | 2026-06-24 | HF Daily | score 6/10

IDEAL：深度对齐构建离散表示自编码器

🧭 视觉生成 · 离散表示对齐

Fudan University · Shanghai Innovation Institute · University of Maryland, College Park

联合对齐浅层与深层视觉特征，使离散视觉标记兼顾保真度与语义，重建与生成双SOTA

📌 工作参考价值（4 点）

离散 token 学习借鉴：若在电商多模态推荐中学习物品的离散 Semantic ID，可引入浅层视觉特征（局部纹理、布局）与高层语义联合对齐，提升视觉 token 的重建保真度，有助于生成式推荐中 ID 的语义保持。
多层级特征融合范式：训练视觉 tokenizer 时，利用冻结的预训练视觉模型（如 DINO）提取多层特征，通过深度对齐损失强化 token 的表征能力，该思路可迁移至任何需要离散化视觉输入的推荐或搜索任务。
生成式推荐中视觉生成优化：若需在 Agent 或推荐流程中根据语义生成商品图像，IDEAL 的 tokenizer 可直接作为图像离散生成的前置工具，提升生成图像细节与语义一致性。
主要贡献在视觉生成领域，存在一定学术借鉴价值，但业务落地需二次适配。

Multimodal | 2026-06-08 | HF Daily | score 6/10